#!/bin/bash 
DIRNAME= dirname $0' 
. $DIRNAME/../../etc/ultra_env.ksh 


DATADIR=‘ /home/sdejong/data/april-1' 
year='2016' 


usage() { ; 
echo "${O##*/}" 
echo "" 
echo " -y YYYY" 


echo " -m mm Use multiple times for more months" 
} 
while getopts :y:m: OPTION f 
do 


case ${OPTION} in 
y) year="$OPTARG";; a | 
m) month=("${month[@]}" "$OPTARG") ;; \ 
N?) usage 
exit;; 
esac 
done 


if [ -z "$month" ]; then | | 
usage | 
exit 1 

R 


"for m in "${month[@]}" 
do 


case $m in 
61) days=31;; 
02) days=28;; 
83) days=31;; 
04) days=30;; 
05) days=31;; 
06) days=30;; 
07) days=30;; 
08) days=31;; 
09) days=30;; / 
10) days=31;; 
11) days=30;; 
12) days=31;; 
_ *) days=@;; 
esac 


dayofmonth=1 
while [ $dayofmonth -le $days ]; do 
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if [ $dayofmonth -1t 18 ]; then 
DATE=$fyear)$(m)0$fdayofmonth) 
else ! 
DATE=${year}${m}${dayofmonth } 
fi | 
let dayofmonth=dayofmonth+1 \ 


if [ ! -f ${DATADIR}/zipped/${DATE}.dat.gz ]; then 
$HIVE_BIN_DIR/hive <<EOF | 


add file /opt/uetl/prod/bin/libdnsparse.so; 
add jar /opt/uetl/prod/bin/dnsparse.jar; 


set hive.auto.convert.join.noconditionaltask = true; 
set hive.auto.convert.join.noconditionaltask.size = 100000080; 


use sdejong; 


insert overwrite local directory '${DATADIR}/${DATE}' 
row format delimited 
fields terminated by ',' 
select 
a.export 
from ultra_prod.ultra_dns_dmd_export_deep a 
where a.dt = '${DATE}' 
and a.dup_ind = 8 
and a.rsp_ind = 1 
and a.zone in ( 
"3boyutluduvar.com.', 'acfactoring.comi. ', 
'aciim.com.', 'af-people.ru.', 
'afpeople.ru.', 'alfaam.com.', 
'alfa-auto-credit.ru.', 'alfa.bank.', 
'alfa-bank.biz.', 'alfabank.biz.', 
i 'alfa-bank.com.', ‘alfabank.com.', 
"'alfabank-express.ru.-', 'alfa-bank.info. ', 
'alfabank.me.', 'alfa-bank.net.', 
'alfa-bank.org.', 'alfabank.org. ', 
'alfa-bank.ru.', 'alfabank.ru.', 
'alfabank.st.', 'alfa-bank.su. ', 
'alfabank.su.', 'alfa-bank.tel.', 
'alfabank.tv.', 'alfa-capital.biz. ', 
'alfacapital.biz.', 'alfa-capital.com. ', 
'alfa-capital.guru.', 'alfacapital.guru. ', 
'alfa-capital.info.', 'alfacapital.info. ', 
'alfa-capital.moscow.', 'alfacapital.moscow. ', 
'alfa-capital.net.', 'alfacapital.net. ', 
'alfa-capital.org.', 'alfacapital.org. ', g 
'alfacapitalpartners.com.', 'alfa-capital.pro.', 
'alfacapital.pro.', 'alfacapital.us.', 
'alfa-card.ru.', 'alfacard.ru.', 


! 
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'alfacards.ru.', ‘alfa.care.', 
'alfa-check.ru.', 'alfacheck.ru.', 
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‘alfa-cm.com.', ‘alfacp.com.', 
'alfadirect.net.', 'alfa-direct.ru.', 
'alfadirect.ru.', 'alfa-direct.su.', 
'alfadirect.su.', 'alfafellows.ru.', 
‘alfafinance.biz.', 'alfa-finance.com. ', 
'alfa-finance.ru.', 'alfafinance.ru.', 
'alfa-forex.com.', 'alfaforex.com. ', 
'alfaforexmail.com.', 'alfa-forex.net.', 
'alfaforex.net.', 'alfa-forex.org. ', 
'alfa-forex.ru.', 'alfaforex.ru.', 
'alfaforyou.ru.', 'alfafuture.com.', 
'alfafuturepeople.ru.', 'alfafuture.ru. ', 
'alfa-fx.com.', 'alfafx.com.', 
'alfa-fx.ru.', 'alfafx.ru. *; 
'alfa-gr.com.', ‘alfa-group.biz.', 
'alfagroupdesign.com.', 'alfa-group-eg.com. ', 
'alfagroupindonesia.com.', 'alfa-group.info.', 
'alfagroup.info.', 'alfagroupnz.com.', 
'alfainternational.net.', 'alfaintra.net. ', 
'alfainvconsltd.com.', 'alfa-ipoteca.ru.', 


'alfaipoteca.ru.', 'alfa-ipoteka.ru.', 
'alfaipoteka.ru.', 'alfa-kapital.com. ', 
'alfakapital.com.', 'alfa-labs.ru.', 
"alfalabs.ru.', 'alfa-leasing.ru. ', 
'alfaleasing.ru.', 'alfa-life.ru. ', 
'alfalife.ru.', ‘alfa.love.', 
'alfamobile.ru.', 'alfa-pc.com.', 
''alfapensia.ru.', "alfapension.ru.', 
'alfa-people.ru.', 'alfa-portal.ru. ', 
'alfaportal.ru.', 'alfa-trade.com.', 
'alfa-usa.com.', 'alfórmacap.com. ', 


'alformacapital.com.', 'alphakapital.com. 


) 
EOF 
-RC=$? 
if [ $RC -ne 8 ] 
then 
echo "query failed: $RC" 
exit 1 
FL 
cat ${DATADIR}/${DATE}/* >> ${DATADIR}/zipped/${DATE}.dat 
gzip ${DATADIR}/zipped/${DATE}.dat . 
rm -rf ${DATADIR}/${DATE} 
TL 


( 
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done 


pushd ${DATADIR}/zipped/ 

tar zcvf ~/seti-${year}-${m}.tgz * 
rm -f * 

popd 

done 
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